Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents
谁给评分者评分？自进化智能体评估指标与技能协同演化
🧭 Agent自我改进中的评估指标进化
在没有可靠评估指标时，让评估指标与Agent技能协同进化，保持自我改进效能
📌 工作参考价值（4 点）
- 在无可靠在线指标的场景（如生成式推荐文案、广告创意评估）中，可借鉴利用小规模锚定参考集+未标注输出共识正则化，构建可进化的透明评估指标，避免依赖不可信的自动化评判。
- 将评估指标进化与技能生命周期管理协同的Double Ratchet框架，可直接用于对话Agent、搜索Query生成等自我改进系统，使系统在缺乏人工标注时仍能持续提升。
- 引入anchor discipline（锚定纪律）和外部审计机制，防止指标退化或技能钻漏洞，对电商Agent安全至关重要，尤其当系统输出直接影响用户体验或收入时。
- 在推荐理由生成、商品描述自动优化等任务中，可先用少量人工标注训练初始指标，然后通过协同进化让模型自适应新数据分布，减少人工持续标注成本。